13 丢弃法

• 目的：对输入数据加入扰动的鲁棒，增加泛化能力
• 实现
  
  • 主要作用于隐藏层的输出
    
  • 注意：dropout只用在训练中，因为目的是改变模型权重；推理时不需要用到，因为模型权重已经确定了
• 总结
  • dropout的做法等价于让某些子神经网络的权重变成0，其实也是正则化处理的一种，相当于让模型权重减少到0
  • 丢弃的概率p是超参数

References

13 丢弃法【动手学深度学习v2】_哔哩哔哩_bilibili